We introduce a large scale MAchine Reading COmprehension dataset, which we name MS MARCO. The dataset comprises of 1,010,916 anonymized questionssampled from Bing's search query logs-each with a human generated answer and 182,669 completely human rewritten generated answers. In addition, the dataset contains 8,841,823 passages-extracted from 3,563,535 web documents retrieved by Bing-that provide the information necessary for curating the natural language answers. A question in the MS MARCO dataset may have multiple answers or no answers at all. Using this dataset, we propose three different tasks with varying levels of difficulty: (i) predict if a question is answerable given a set of context passages, and extract and synthesize the answer as a human would (ii) generate a well-formed answer (if possible) based on the context passages that can be understood with the question and passage context, and finally (iii) rank a set of retrieved passages given a question. The size of the dataset and the fact that the questions are derived from real user search queries distinguishes MS MARCO from other well-known publicly available datasets for machine reading comprehension and question-answering. We believe that the scale and the real-world nature of this dataset makes it attractive for benchmarking machine reading comprehension and question-answering models.

Protein structure prediction is a fundamental problem in computational molecular biology. Classical algorithms such as ab-initio or threading as well as many learning methods have been proposed to solve this challenging problem. However, most reinforcement learning methods tend to model the state-action pairs as discrete objects. In this paper, we develop a reinforcement learning (RL) framework in a continuous setting and based on a stochastic parametrized Hamiltonian version of the Pontryagin maximum principle (PMP) to solve the side-chain packing and protein-folding problem. For special cases our formulation can be reduced to previous work where the optimal folding trajectories are trained using an explicit use of Langevin dynamics. Optimal continuous stochastic Hamiltonian dynamics folding pathways can be derived with use of different models of molecular energetics and force fields. In our RL implementation we adopt a soft actor-critic methodology however we can replace this other RL training based on A2C, A3C or PPO.

Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.

常规生成订单3及以上的数据张量。这些数据收集越来越大且增长。它们要么是张量字段（例如，图像，视频，地理数据），其中每个数据位置包含重要信息或排列不变的一般张量（例如，无监督的潜在空间学习，图形网络分析，建议系统等）。直接访问如此大的数据张量收集以获取信息已变得越来越令人难以置信。我们学习具有分解表示的近似全级和紧凑的张量草图，可提供紧凑的空间，时间和光谱嵌入量的张量场（P-SCT）和一般张量（P-SCT-Permute）。所有后续的信息查询都以高精度进行，在生成草图上进行。我们通过从张量切片的样品有效的子采样量构建张量图来产生任意阶数据张量的最佳级别-r tucker分解。我们的样本有效策略是通过使用与共轭先验的Dirichlet分布的适应性随机汤普森采样来学习的。

我们提出了一个混合工业冷却系统模型，该模型将分析解决方案嵌入多物理模拟中。该模型设计用于增强学习（RL）应用程序，并平衡简单性与模拟保真度和解释性。该模型的忠诚度根据大规模冷却系统的现实世界数据进行了评估。接下来是一个案例研究，说明如何将模型用于RL研究。为此，我们开发了一个工业任务套件，该套件允许指定不同的问题设置和复杂性水平，并使用它来评估不同RL算法的性能。

宏位置是将内存块放在芯片画布上的问题。它可以在序列对上表达为组合优化问题，该表示形式描述了宏的相对位置。解决此问题尤其具有挑战性，因为目标功能评估昂贵。在本文中，我们通过序列对使用贝叶斯优化（BO）开发了一种新颖的方法来宏观放置。 BO是一种机器学习技术，它使用概率的替代模型和一个采集功能，可以平衡探索和开发以有效地优化黑盒目标函数。 BO比强化学习更有效率，因此可以与更现实的目标一起使用。此外，从数据中学习并将算法适应目标函数的能力使BO成为其他黑盒优化方法（例如模拟退火）的吸引人替代方法，该方法依赖于问题依赖性的启发式方法和参数调整。我们在固定外线宏观位置问题上基准了我们的算法，并具有半二级线长度目标，并表现出竞争性能。

机器学习的普及增加了不公平模型的风险，该模型被部署在高级应用程序中，例如司法系统，药物/疫苗接种设计和医学诊断。尽管有有效的方法可以从头开始训练公平模型，但如何自动揭示和解释受过训练的模型的不公平仍然是一项艰巨的任务。以可解释的方式揭示机器学习模型的不公平是朝着公平和值得信赖的AI迈出的关键一步。在本文中，我们系统地解决了通过挖掘可解释的证据（Rumie）来揭示不公平模型的新任务。关键思想是以一组模型区分的数据实例的形式找到可靠的证据。为了使证据可以解释，我们还找到了一组人为理解的关键属性和决策规则，这些属性和决策规则表征了歧视的数据实例，并将其与其他非歧视数据区分开来。正如在许多现实世界数据集上进行的广泛实验所证明的那样，我们的方法找到了高度可解释和可靠的证据，可以有效揭示受过训练的模型的不公平性。此外，它比所有基线方法更可扩展。

低温电子显微镜（Cryo-EM），2D分类和比对的单个颗粒分析（SPA）的关键步骤，将嘈杂的粒子图像集合收集，以推导方向并将相似图像组合在一起。平均这些对齐和聚集的嘈杂图像会产生一组干净的图像，准备进一步分析，例如3D重建。傅立叶贝塞尔可进入的主成分分析（FBSPCA）可实现有效的，适应性的，低级别的旋转操作员。我们将FBSPCA扩展到额外处理翻译。在此扩展的FBSPCA表示中，我们使用概率的极性高斯混合模型，使用预期最大化（EM）算法以无监督的方式学习软簇。因此，获得的旋转簇还具有成对比对缺陷的存在。与标准的单粒子冷冻EM工具，EMAN2和Relion相比，模拟的冷冻EM数据集的多个基准表明概率Polargmm的性能改善了性能，就各种聚类指标和对齐错误而言。

我们展示了一种简单，高效的“直接学习”方法来利用神经网络培训基于Volterra系列的数字预失真滤波器。我们使用64-QAM 64-GBaud模拟发射器显示出对传统训练方法的卓越性能，具有不同的发射器非线性和嘈杂的条件。

通过首先应用Pontryagin最大原理来解决最佳控制问题，然后计算相应的无约束Hamiltonian动态系统的解决方案。在本文中，在鲁棒性和效率之间实现平衡，我们学习减少无约束的汉密尔顿人的汉密尔顿人。通过在时间后向后，通过最大限度地降低汉密尔顿人，并通过在最大原理条件下最小化损失函数来学习。然后通过逐步学习减少的哈密顿人的后部分布，进一步改善了我们学习过程的鲁棒性。这导致了我们相位空间的广义坐标（位置，速度）的更有效的采样。我们的解决方案框架不仅适用于有限阶段（州）空间的最佳控制问题，还适用于无限尺寸尺寸外壳。